Hiện chưa rõ quê quán và thân thế của Thiền sư Phật Ý-Linh Nhạc, có lẽ quê của sư ở dinh Trấn Biên (vùng Đồng Nai và Bà Rịa sau này). Tài liệu ở chùa Đại Giác (Biên Hòa) cho biết, sư quy y với Hòa thượng Thành Đẳng-Minh Lượng ở chùa này, và được liệt vào đời thứ 35, thiền phái Lâm Tế tông.

Năm Giáp Ngọ (1744), chúa Nguyễn Phúc Khoát tổ chức lãnh thổ Đàng Trong thành một nước riêng biệt. Để mở rộng đất đai, chúa Nguyễn khuyến khích người dân vào Nam khai phá[3]. Hưởng ứng, đông đảo người dân (người Việt và người Hoa) ở vùng Đồng Nai lần lượt kéo nhau đi. Trong bối cảnh đó, Thiền sư Phật Ý-Linh Nhạc vâng lời thầy đi theo, vừa để nâng đỡ đời sống tinh thần của lưu dân, vừa để truyền bá đạo Phật [4].

Trên đường đi, nhà sư gặp một tăng sĩ không rõ họ tên, cùng lứa tuổi và họ đã kết thành huynh đệ. Đến nơi ở mới là làng Tân Lộc (có tư liệu viết là làng Hoạt Lộc hay xóm Chợ Đũi), hai nhà sư cùng khai phá rừng và dựng lên một am lá (khoảng năm 1744) thờ Phật. Vài năm sau, nhà sư vô danh kia tách ra lập am riêng, cách am cũ vài mươi mét, để tiện việc tu hành.

Đến năm Nhâm Thân (1752), Thiền sư Phật Ý-Linh Nhạc tu bổ am lá thành chùa, và đặt tên là chùa Từ Ân, với ngụ ý là "nhờ lòng từ bi và ân huệ của đức Phật mà bá tánh được bình an, tạo được cuộc sống ấm no và hạnh phúc nơi vùng đất mới". Cũng khoảng thời gian đó, nhà sư vô danh cũng tu bổ am lá trước đây thành chùa, và đặt tên là chùa Khải Tường, với ngụ ý là "mở rộng phước lành cho bá tánh" [5]

Sau một thời gian hoằng hóa, vị sư trụ trì ở chùa Khải Tường viên tịch, thiền sư Phật Ý-Linh Nhạc trụ trì luôn cả hai chùa. Do tài đức của thiền sư, mà hai tự viện trở nên có tiếng ở vùng Gia Định [6].

Trong giai đoạn chiến tranh giữa Tây Sơn với chúa Nguyễn Phúc Ánh, cả hai ngôi chùa của thiền sư, từng là nơi ở của vị chúa này và đoàn tùy tùng (chùa Từ Ân là nơi dành cho chúa và quan quân, còn chùa Khải Tường là nơi dành cho các phi tần) [7]. Bởi vậy, sau này Thiền sư Phật Ý-Linh Nhạc đã được vua Nguyễn ban y bát sắc phong làm Hòa thượng, đồng thời cho trùng tu và ban "sắc tứ" hai ngôi chùa trên [8].

Ngày 20 tháng 11 năm Tân Tỵ (1821), Thiền sư Phật Ý-Linh Nhạc viên tịch tại chùa Từ Ân, thọ 96 tuổi, sau đó di cốt được đưa vào tháp trong khuôn viên chùa.

Trong thời Thiền sư Tế Tín-Chánh Trực làm trụ trì, chùa Từ Ân và chùa Khải Tường đều lâm nạn binh đao bởi quân Pháp đến đánh chiếm. Theo tài liệu, vào tháng 2 năm 1859, thành Gia Định bị quân Pháp đánh hạ. Sau đó, chùa Khải Tường bị quân Pháp chiếm làm đồn, còn chùa Từ Ân thì bị đốt cháy[9] sau khi các nhà sư ở đây rút chạy và "chỉ kịp đem cất giấu một số món đồ, nhờ vậy mà chùa Từ Ân ở gần chợ Gạo (Phú Lâm) ngày nay còn được một số hiện vật kỷ niệm" [10].

Trải bao biến đổi, tháp Tổ Phật Ý-Linh Nhạc bị hư hoại, bị lãng quên ở nơi chốn cũ. Mãi đến năm Quý Hợi (1923), thầy Hồng Hưng ở chùa Giác Lâm mới tổ chức thỉnh tro cốt của Tổ Phật Ý-Linh Nhạc về nhập tháp trong khuôn viên chùa Giác Lâm ở quận Tân Bình, sau khi được một bà già mách bảo [11].